Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型
🧭 扩散视觉语言模型高效解码
KAIST · AITRICS
提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数
📌 工作参考价值（4 点）
- 多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
- 工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
- 在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
- 该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。